Resumo O PISA para Escolas, uma avaliação de alunos promovida pela OCDE, foi aplicada no Brasil em duas ocasiões distintas, 2017 e 2019. A edição de 2019 do PISA para Escolas foi administrada somente via computador a uma população de 11.484 alunos pertencentes a 229 escolas públicas e privadas. O PISA para Escolas avalia três áreas de conhecimento com itens de teste calcados nas matrizes de referência do PISA. Os resultados obtidos pelas escolas de cinco Redes de ensino, públicas e particulares, foram agregados em um conjunto de tabelas que possibilitaram a análise comparativa do desempenho dos alunos entre as Redes e com variáveis selecionadas no estudo. Como resultado, observou-se uma variabilidade de desempenho dos alunos das Redes, explicadas em grande parte por suas características socioeconômicas e culturais, práticas de ensino e clima disciplinar. Investigaram-se, também, três aspectos que vêm sendo tratados na literatura mais atual e, entre eles, a prática do bullying , o fenômeno da repetência e a importância das habilidades socioemocionais no contexto escolar.

Abstract PISA for Schools, a student assessment promoted by the OECD, was applied in Brazil in two separate years, 2017 and 2019. The 2019 edition of PISA for Schools was administered, only by computer, to a population of 11,484 students from 229 public and private schools. PISA for Schools assesses three areas of knowledge with items based on the PISA frameworks. The results obtained by the schools of five education networks, public and private, were aggregated in a set of tables that allowed the comparative analysis of the students’ performance between the networks and with variables selected in the study. As a result, there was a variability in the performance of students in the Networks, explained largely by their socioeconomic and cultural characteristics, teaching practices and disciplinary climate. We also investigated three aspects that have been dealt with in the most current literature, and among them, the practice of bullying, the phenomenon of repetition and the importance of socioemotional skills in the school context.

Resumen El PISA para Escuelas, una evaluación de estudiantes promovida por la OCDE, se aplicó en Brasil en dos ocasiones distintas, 2017 y 2019. La edición 2019 de PISA para Escuelas se administró solo por computadora a una población de 11.484 estudiantes pertenecientes a 229 escuelas públicas y privadas. PISA para Escuelas evalúa tres áreas de conocimiento con elementos de prueba basados en las matrices de referencia de PISA. Los resultados obtenidos por las escuelas de cinco redes educativas, públicas y privadas, fueron agregados en un conjunto de tablas que permitieron los análisis comparativos del desempeño de los estudiantes entre las redes y con las variables seleccionadas en el estudio. Como resultado, hubo una variabilidad en el desempeño de los estudiantes en las Redes, explicada en gran parte por sus características socioeconómicas y culturales, prácticas docentes y atmosfera disciplinaria. También se investigaron tres aspectos que han sido abordados en la literatura más actual, entre ellos la práctica del bullying, el fenómeno de la repetición y la importancia de las habilidades socioemocionales en el contexto escolar.

O artigo vai discutir o impacto que os resultados das avaliações em larga escala podem ter na prática docente com vistas a promover ganhos de aprendizagem. Os sistemas de avaliação de desempenho dos alunos, introduzidos no Brasil há quase duas décadas, apesar da enorme quantidade de dados coletados e divulgados, parecem não ter sido capazes de provocar as mudanças esperadas no cotidiano da relação professor-aluno-aprendizagem. São levantadas hipóteses de que os professores, coordenadores pedagógicos e diretores das escolas não compreendam adequadamente as tecnologias empregadas na avaliação dos estudantes e nos mecanismos e materiais utilizados na divulgação dos resultados e, assim, não são capazes de orientar a prática docente para corrigir os erros e as dificuldades apresentadas pelos alunos. O artigo também faz referência a algumas iniciativas realizadas por agentes públicos da educação para promover melhorias na aprendizagem, mediante a criação de materiais estruturados para alunos e professores, incluindo questões de avaliação e exercícios para os alunos.Tais iniciativas podem produzir, a curto e médio prazos, impactos positivos no desempenhodos alunos. Discutem-se ainda as condições para que a avaliação efetivamente possa, em um futuro próximo, promover a aprendizagem dos estudantes.

This paper discusses the impact of large scale assessments in the teacher practice towards promoting learning gains. The assessment systems of cognitive achievement introduced in Brazil about two decades ago apparently was not able to induce the expected changes in the day-to-day relationship teacher-student learning, in spite of the enormous quantity of collected and released data. The paper raises the hypothesis that teachers, pedagogical counselors and school principals do not understand adequately the technologies used in student assessments and the materials released with the result and, in this way, are not capable to guide teacher's practice to correct the mistakes and difficulties presented by the students.The paper also makes references to some initiatives taken by public agents of education to improve learning, by creating structured materials for students and teachers, including assessment items and exercises for students.Such initiatives can produce, in the short and medium term, positive impacts in student achievement. The paper discuss yet conditions so that the assessment can affectively, in the near future, promote student learning.

El artículo discute el impacto que los resultados de las evaluaciones en larga escala pueden tener en la práctica docente con el objeto de promover mejora en el aprendizaje. Parece que los sistemas de evaluación de desempeño de los alumnos, introducidos en Brasil hace casi dos décadas, a pesar de la enorme cantidad de datos recogidos y divulgados, no fueron capaces de originar los cambios esperados en la relación cotidiana profesor-alumno-aprendizaje. Se elaboran hipótesis de que los profesores coordinadores pedagógicos y directores de las escuelas quizás no entiendan adecuadamente las tecnologías empleadas en la evaluación de los estudiantes y en los mecanismos y materiales utilizados en la divulgación de los resultados y, por eso tal vez no sean capaces de orientar la práctica docente para corregir los errores y las dificultades que los alumnos presentan. El artículo también se refiere a algunas iniciativas que los agentes públicos de la educación realizaron para mejorar el aprendizaje, mediante la creación de materiales estructurados para alumnos y profesores, incluyendo cuestiones de evaluación y ejercicios para los alumnos. Tales iniciativas pueden producir, a corto y medio plazo, impactos positivos en el desempeño de los alumnos. Finalmente se discuten las condiciones para que la evaluación efectivamente pueda, en un futuro próximo, promover el aprendizaje de los estudiantes.

O Projeto Piloto de Alfabetização foi desenvolvido com alunos da rede pública do Rio Grande do Sul que ingressaram com seis anos, no ensino fundamental de nove anos, no ano de 2007 e que permaneceram no segundo ano, em 2008. Visando a avaliar as habilidades de leitura, escrita e matemática alcançados pelos alunos nesses dois anos foi conduzida uma pesquisa separando esses alunos em quatro grupos, sendo que três deles participaram das atividades de aprendizagem desenvolvidas por três Instituições convidadas e o outro grupo, de controle, que realizou atividades promovidas pelas próprias escolas. No ano de 2008 o projeto abrangeu também alunos novos que ingressaram no 1º ano do EF. Os resultados serão apresentados em escalas únicas de proficiências em Leitura, Escrita e Matemática obtidas pela Teoria de Resposta ao Item (TRI) que expressam os desempenhos dos alunos ao final do 1º e do 2º ano de escolaridade do ensino fundamental. Os principais resultados mostraram que houve um grande ganho de proficiências entre o 1º e o 2º ano nas duas disciplinas. A interpretação da escala de Leitura e Escrita evidencia que o domínio das habilidades de Escrita é alcançado pelos alunos nos níveis mais altos da escala enquanto que as habilidades de Leitura surgem antes. Em Matemática, as habilidades de somar e subtrair, mesmo sem reserva, só aparecem nos níveis mais altos da escala.

The pilot project in literacy was conducted with six years old children of the Rio Grande do Sul public system who entered 1st grade in 2007 and 2nd grade in 2008. The aim of the project was to assess reading, writing and mathematical abilities attained by these children in the end of both years. The children were separated into 4 (four) groups. Three treatment groups participated in learning activities developed by 3 institutions, which use 3 different literacy methods. The fourth group was a control group with activities of their schools without outside interference. In 2008, the project added new 1st grade students of the participating schools. The results will be presented in two proficiency scales obtained by the use Item Response Theory (IRT), one for reading and writing and the other for mathematics which describe the children's performance at the end of the 1st and 2nd grades. The main results show that there was a great gain in both proficiency scales between the 1st and 2nd grade. The Reading and Writing scale shows that writing abilities are attained at the highest levels of the scale, while reading abilities appear earlier, on lower levels. In Mathematics, adding and subtracting abilities, even without reserve, also only appear at the highest levels.

El proyecto Piloto de Alfabetización se desarrolló con alumnos de las Escuelas Públicas de Rio Grande do Sul (provincia brasileña) que ingresaron con seis años en el curso escolar del año 2007 en la Enseñanza Primaria, la cual dura nueve años, y que permanecieron en el segundo año en 2008. Con el objeto de evaluar las habilidades de lectura, escritura y matemáticas que los alumnos alcanzaron durante esos dos años se condujo una investigación separando esos alumnos en cuatro grupos, tres (grupos) de ellos participaron de las actividades de aprendizaje desarrolladas por las propias escuelas. En el año 2008 el proyecto abarcó también alumnos nuevos que ingresaron en el 1º grado de la Escuela Primaria. Los resultados se presentarán en escalas únicas de proficiencias en Lectura, Escritura y Matemáticas obtenidas por la Teoría de Respuesta al Ítem (TRI) que expresan los desempeños de los alumnos al final del 1º y 2º grado en las dos asignaturas. La interpretación de la escala de Lectura y Escritura deja claro que los alumnos alcanzan el dominio de las Habilidades de Escritura en los niveles más altos de la escala mientras que las habilidades de Lectura surgen antes. En Matemáticas, las habilidades de sumar y restar, incluso sin reserva, sólo aparecen en los niveles más altos de la escala.

O artigo apresenta um estudo realizado com a correção da redação do ENEM 2008 adotando-se uma nova forma de avaliar o domínio das competências escritoras do exame. Cada competência e seus critérios de correção foram tratados como 5 itens polítomos com ordenação de resposta de 1 a 7 . Essa metodologia possibilita que se obtenha para cada competência/item polítomo as estatísticas clássicas, percentuais de resposta por categoria, coeficientes ponto-polisseriais e ponto-bisseriais por categoria de resposta. Permite também o uso da Teoria da Resposta ao Item-Tri para obter-se uma escala de proficiências de Redação no ENEM. A adoção de metodologia de interpretação de escalas permite descrever as competências e habilidades dominadas pelos candidatos nos diferentes níveis da escala, possibilitando definir os pontos nos quais as categorias de resposta das competências são dominadas. O uso dessa metodologia pode aperfeiçoar a apresentação dos resultados do ENEM e ser útil para maior aprofundamento dos resultados da redação. Com esse trabalho os autores pretendem introduzir uma discussão do uso da TRI na correção da redação do ENEM.

This article presents a study based on the correction of ENEM 2008 compositions using a new way of evaluating the students' writing skills. Each skill and its correction criteria was treated as five different items ranging from 5 to 7. This methodology allows to obtain the classical statistics, percentage of response by category and credit coefficient per category for each skill. It also allows the use of the item tri response theory in order to obtain a proficiency scale in ENEM's compositions. The adoption of this methodology allows to describe the candidates skills and abilities in the different levels of the scale, making possible to define the points in which the categories of response skills are dominated. The use of this methodology may improve the presentation of ENEM's results and it may also be useful for further studies of the compositions results. With this work, the authors intend to introduce a discussion on the use of the Tri in the correction of ENEM's compositions.

El artículo presenta estudio realizado en la a corrección de la redacción del ENEM 2008 adoptándose nova forma de evaluar el dominio de las competencias escritoras de los candidatos. Cada competencia y sus criterios de corrección fueran tratados como 5 itens polítomos con ordenación de respuesta de 1 a 7. Esa metodología posibilita que se obtenga para cada competencia/item polítomo las estadísticas clásicas, porcentuales de respuesta por categoría, coeficientes punto-poliseriales e punto-biseriales por categoría de respuesta. Permite también el uso de la Teoría de la Respuesta al Ítem-Tri para obtenerse una escala de resultados proficientes con la Redacción del ENEM. La adopción de metodología de interpretación de escalas permite describir las competencias y habilidades dominadas por los candidatos en los diferentes niveles de la escala, posibilitando definir los puntos los cuales las categorías de respuesta de las competencias son dominados. El uso de esa metodología puede perfeccionar la presentación de los resultados del ENEM y ser útil para mayor profundidad de los resultados de la redacción. Con ese trabajo los autores pretenden introducir una discusión del uso de la TRI en la corrección de la redacción del ENEM.

O Projeto Piloto de alfabetização foi desenvolvido com alunos da rede pública municipal e estadual do Rio Grande do Sul que ingressaram com seis anos, no ano de 2007, no ensino fundamental de nove anos. Com o objetivo de avaliar os níveis de habilidades de leitura, escrita e matemática, alcançados pelos alunos, foi delineado um experimento separando esses alunos em quatro grupos, sendo que três deles participaram das atividades de aprendizagem conduzidas por três Instituições convidadas, e o outro grupo, de controle, realizou atividades promovidas pelas próprias escolas. Os resultados são apresentados em escalas de proficiências em Leitura, Escrita e Matemática que expressam os desempenhos obtidos pelos alunos ao final do primeiro ano de escolaridade obrigatória. O resultado principal foi que os 3 grupos de intervenção tiveram desempenho melhor em leitura e escrita do que o grupo de controle. Em matemática, não houve diferenças. Foi construída uma medida de nível socioeconômico das escolas dos diferentes grupos e constatou-se que não há diferenças nas distribuições dos níveis socioeconômicos dos 4 grupos.

This literacy project deals with 6-year-old students that have engaged in the first year of Public Elementary Schools in the state of Rio Grande do Sul in the south of Brazil. Aiming to evaluate the reading, writing and math skills achieved by the students, an experimental model was designed. This model divided the students into four groups, where three of them took part in learning activities conducted by three different institutions, and the fourth, called group of control, took part in activities conducted by the schools themselves. The results of the activities were presented on a reading, writing and math proficiency scale and it showed the development of the students' performance at the end of their first year of school. The main outcome showed that the results of the three groups of intervention were better than the results of the control group in reading and writing and there was no difference in mathematics. A measure of the socioeconomic level of the schools was built and no difference in distribution was found.

El Proyecto Piloto de alfabetización se desenvolvió con alumnos de la rede pública municipal y estadual del Rio Grande do Sul que ingresaran con seis años en 2007, en la enseñanza fundamental de nueve años. Con el objetivo de evaluar los niveles de habilidades de lectura, escrita y matemática, alcanzados por los alumnos, fue delineado un experimento separando los alumnos en cuatro grupos, siendo que tres participaran de actividades de aprendizaje conducidas por tres Instituciones convidadas, y otro grupo, de controle, realizó actividades promovidas por las propias escuelas. Los resultados son presentados en escalas de proficiencias en Lectura, Escrita y Matemática que expresan los desempeños obtenidos por los alumnos al final del primero año de escolaridad obligatoria. El resultado principal fue que los 3 grupos de intervención tuvieran desempeño mejor en lectura y escrita que el grupo de controle. En matemática, no hube diferencias. Fue construida una medida de nivel socioeconómico de las escuelas de los diferentes grupos y se constató que no había diferencias en las distribuciones de los niveles socioeconómicos de los 4 grupos.

O artigo discute os resultados obtidos pelos alunos dos Cursos Pré-Vestibulares Comunitários do Rio de Janeiro, no ENEM 2006. Os 350 professores desses alunos, todos voluntários, participaram de atividades de Capacitação voltadas para o desenvolvimento das habilidades do ENEM. Os alunos desses professores, além de material didático, realizaram um Simulado do ENEM, em junho de 2006. Pesquisando os resultados desses alunos, no ENEM, constatou-se que eles obtiveram médias maiores do que as obtidas pelos alunos brasileiros e do Rio de Janeiro. Os alunos dos Pré-Vestibulares Comunitários, têm renda familiar menor, são mais velhos e, em maior percentual, se declararam pretos e pardos, quando comparados com os alunos brasileiros e do Rio de Janeiro. Essas variáveis, em geral, estão associadas a piores desempenhos. Os autores discutem o possível impacto da capacitação dos professores nos resultados positivos obtidos pelos alunos no ENEM 2006.

This article presents and analyses the students results from Community Courses for Admission in Higher Education obtained in the Brazilian National Exam of Secondary Education (ENEM) 2006. Volunteer teachers, in a total of 350, were trained to be able to develop ENEM abilities in their classes. Their students received classes and instructional materials related to those abilities and also took a simulated exam with 42 questions from former ENEM. Results showed that these students reached greater means than those presented by the Brazilian and Rio de Janeiro peers in the 2006 Exam. Socioeconomic variables like family income, age and ethnic groups were controlled and it was verified that students' means were higher when compared to the Brazilian means in the same strata. In general, those mentioned variables are associated to students' lower results. The authors consider students good performance as a possible impact of their teachers' empowerment through the specific training and students motivation as well.

El artículo discute los resultados obtenidos por los alumnos de los Cursos Preparatorios Comunitarios del Rio de Janeiro para el ingreso en la Universidad a través del examen nacional ENEM 2006. Los 350 maestros de eses alumnos, todos voluntarios, participaran de actividades de capacitación para el desarrollo de habilidades presentadas en el examen ENEM. Los alumnos de eses maestros recibieron material didáctico y hicieron una prueba simulada del ENEM en junio de 2006. Los resultados de eses alumnos, en la prueba ENEM, mostró que ellos tuvieron medias superiores a de los estudiantes brasileños y del Rio de Janeiro. Los alumnos de eses cursos comunitarios tienen renta familiar más baja, son mayores y, en porcentual más elevado, se declaran negros y pardos, cuando comparados con los estudiantes brasileños y del Rio de Janeiro. Esas variables, en general, están asociadas a los peores desempeños. Los autores discuten el posible impacto de la capacitación de los maestros en los resultados positivos obtenidos por los alumnos en el ENEM 2006.